LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics
LeVJEPA：无需启发式的高效可扩展视频预训练
🧭 高效视频自监督预训练 · 无坍塌目标
German Cancer Research Center · Mila · Université de Montréal · Brown University · Advanced Machine Intelligence (AMI Labs)
首个在 LeJEPA 无坍塌目标下训练的视频编码器，用 token dropping 与 block-causal attention 大幅降低预训练算力
📌 工作参考价值（4 点）
- uniform random token dropping 能同时降低注意力序列长度和提升下游指标，可直接迁移到电商短视频/直播内容或用户行为序列的预训练：在 Transformer 输入前按固定比例随机丢弃 token，无需重要性采样，工程实现简单。
- SIGReg 的 collapse-free 单分支目标替代 EMA target encoder + stop-gradient + predictor，可简化多模态/行为序列对比学习架构，减少显存与超参；若团队在用 Two-tower 或 CLIP 式预训练，可尝试用带正则的 invariance loss 去掉动量编码器。
- block-causal attention 让帧表示只依赖过去观测而几乎不损失精度，适合直播流式场景或推荐中的时序行为建模：使用块级 causal mask 可避免未来信息泄漏，并使模型支持在线推理。
- 若已有商品视频/直播数据，token dropping 后的视频预训练在匹配 FLOPs 下接近图像预训练的 appearance 指标，且 motion 指标近乎翻倍，可考虑用视频底座替代静态图底座，增强对动态商品展示的理解。